อภิเดชเริ่มตกอับเมื่อชกมวยไทยแพ้น็อค แดนชัย เพลินจิต ยก 2 เมื่อ 18 ตุลาคม พ.ศ. 2509 โดยอภิเดชถูกแดนชัยเตะตัดขาจนยอมแพ้ไป ผลจากการพ่ายแพ้ครั้งนี้ ทำให้อภิเดชถูกปลดจากตำแหน่งแชมป์มวยไทยและถูกกล่าวหาว่าล้มมวยด้วย ต่อมาต้นปี พ.ศง 2510 อภิเดชก็ไปเสียแชมป์ OPBF ที่ญี่ปุ่น

อภิเดชกลับมาสู้ต่อในแบบมวยไทย โดยคว้าแชมป์มวยไทยรุ่นเวลเตอร์เวทของเวทีลุมพินีมาครอง จากนั้นข้ามไปชิงแชมป์เวทีราชดำเนินกับเดชฤทธิ์ อิทธิอนุชิต ปรากฏว่าถูกศอกแพ้แตกในยกที่ 2 ชิงแชมป์ไม่สำเร็จและถูกปลดจากแชมป์เวทีลุมพินีอีกด้วย จากนั้นอภิเดชกลับมาชกมวยสากลอีก ขึ้นชกนอกรอบกับกิม กีซู แชมป์โลกรุ่นจูเนียร์มิดเดิลเวทชาวเกาหลีใต้ แต่อภิเดชเป็นฝ่ายแพ้คะแนนไปอีก

ในช่วง พ.ศ. 2511 - 2512 อภิเดชหันกลับมาชกมวยไทยอีก ชนะนักมวยชื่อดังจนมีชื่อเสียงอีกครั้ง จนแพ้น็อค คงเดช ลูกบางปลาสร้อย เมื่อ พ.ศ. 2512 จึงพบกับความตกต่ำอีกครั้ง จนแขวนนวมไปเมื่อ พ.ศ. 2514 อภิเดช หายไปจากวงการมวยอยู่หลายปี และกลับมาชกอีกเมื่อ พ.ศ. 2518 แต่ไม่รุ่งเรืองเหมือนเดิม ชกแพ้มากกว่าชนะ กระทั่งขึ้นชกครั้งสุดท้ายเมื่อ 29 มีนาคม พ.ศ. 2520 แพ้คะแนน เซียนโหงว ศิษย์บางพระจันทร์ อภิเดชจึงแขวนนวมไป ไม่ได้ขึ้นชกมวยอีกเลย

หลังแขวนนวม อภิเดชไปประกอบอาชีพค้าขายมะพร้าว กับภรรยาและลูกอีก 3 คนอยู่ที่ห้วยขวาง ในภายหลัง เขาได้หวนกลับมาสู่วงการมวยด้วยการเป็นเทรนเนอร์ให้กับนักมวยที่ค่ายมวยแฟร์เท็กซ์[5] ต่อมา เมื่อวันที่ 10 ธันวาคม พ.ศ. 2548 องค์การบริหารส่วนจังหวัดสมุทรสงคราม ร่วมกับจังหวัดสมุทรสงคราม ได้จัดพิธีเชิดชูเกียรติ และมอบโล่ประกาศเกียรติคุณให้กับอภิเดช เนื่องจากเป็นบุคคลที่ทำคุณประโยชน์ และสร้างชื่อเสียงให้กับจังหวัด เพื่อเป็นการยกย่อง และเป็นตัวอย่างที่ดีให้กับเยาวชนรุ่นหลังได้ไปศึกษาเป็นแบบอย่าง เพราะ อภิเดช ศิษย์หิรัญ ได้สร้างชื่อเสียงด้านกีฬาให้กับจังหวัดสมุทรสงครามและประเทศไทยเป็นที่รู้จักของชาวต่างชาติเป็นระยะเวลาถึง 11 ปี (พ.ศ. 2503-2514) จึงสมควรได้รับการยกย่องเชิดชูเกียรติอย่างยิ่ง

ซึ่งถือว่าอภิเดชเป็นอดีตนักมวยที่ทำคุณประโยชน์อย่างมากให้แก่วงการมวยไทย โดยเป็นนายกชมรมนักมวยไทยเก่า หาเงินช่วยนักมวยไทยเก่าอย่างต่อเนื่อง

อภิเดช ศิษย์หิรัญ ถึงแก่กรรมเมื่อเวลา 02.00 น. ของวันที่ 4 เมษายน พ.ศ. 2556 ที่โรงพยาบาลพระมงกุฎเกล้า จากโรคมะเร็งปอด ที่ล้มป่วยมานาน เนื่องจากการสูบบุหรี่ซึ่งสูบมาตั้งแต่วัยรุ่นจนกระทั่งอายุ 37 ปี จึงเลิก เมื่อแขวนนวมแล้วในบั้นปลายชีวิตก็มีอาการป่วยกระเสาะกระแสะ ต้องเข้าโรงพยาบาลเช็คร่างกายอยู่เป็นระยะ ๆ ตั้งแต่ปี พ.ศ. 2555 จนกระทั่งถึงแก่กรรม สิริอายุได้ 72 ปี[6][7][8][9]